Diskussion
Leveraging Advanced Statistical Methods in Empirical Educational Research: Handling Missing Data and Harnessing Machine Learning Methods
Symposium
Using tree-based imputation methods in comparison to MICE for longitudinal and multilevel data
Jakob Schwerter, Ketevan Gurtskaia, Andres Romero, Birgit Zeyer-Gliozzo, Philipp Doebler
Resampling-Based Approaches for Nonparametric MANOVA in the Presence of Missing Data
Lubna Amro, Markus Pauly
Prediction Rule Ensembles: Introduction and Application with Multiple Imputation
Philipp Doebler, Marjolein Fokkema, Vincent Schroeder, Jakob Schwerter
A Pilot Study on the Use of Transformer Models to Evaluate Open-Ended Response Formats in Educational Assessments
Rudolf Debelak, Benjamin Wolf
Folien auf github verfügbar unter
Disclaimer
Diskussion Forum
- Metascientifische Kommentare
- Rückfragen
- Forum
Metascientifische Kommentare
Using tree-based imputation methods in comparison to MICE for longitudinal and multilevel data
- M.E. klare Anbindung an bildungswissenschaftliche MI-Literatur erkennbar
- Motivation aus meiner anwendungsorientierten Perspektive klar vorhanden,
- insbesondere der Verzicht auf starke parametrische Annahmen und die
- Robustheit gegenüber Missspezifikationen scheint mir anwendungsfreundlich
Prediction Rule Ensembles: Introduction and Application with Multiple Imputation
- PRE erscheint mir u.a. aufgrund der Balance von Predictive Power und Interpretierbarkeit attraktiv für die empirische Bildungsforschung
- Das Problem des »Vanilla Umgangs« mit Missing Data daher Straight Forward
A Pilot Study on the Use of Transformer Models to Evaluate Open-Ended Response Formats in Educational Assessments
- Erfolg des Ansatzes würde den Trade-Off zwischen Forschungsökonomie und Informationsgehalt von offenen Antwortformaten lösen/eindämmen
- Prädiktion der Human Ratings mit Embeddings via Lasso Regression
Forum
Using tree-based imputation methods in comparison to MICE for longitudinal and multilevel data
- “Ökologische Validität” der simulierten Szenarien
- Scheint per Eye Test gegeben
- Wie wurden sie festgelegt?
- Wäre eine empirische Bestimmung
vorteilhaftdie Arbeit wert?
- Eine Kernbotschaft scheint mir »Power hui - False Positives pfui« zu sein
- Gibt es Ideen zur Ursache dieses Musters?
- Gibt es Szenarien für die Anwendung, in der False Positives weniger stark zu gewichten sind als False Negatives
- Wie fällt der Vergleich zu MICE PMM aus, nachdem die Fehlertypen methodenspezifisch balanciert wurden?
Forum
Prediction Rule Ensembles: Introduction and Application with Multiple Imputation
- Wo rangiert PRE auf einem Kontinuum mit den Polen »Explanative Modellierung« »Prädiktive Modellierung«
- Beispiele wie PRE in der empirischen Bildungsforschung zur
- »Integration verschiedener Theorien« oder
- »Vermeidung des Übersehens von Prädiktoren« beitragen?
- Beispiele wie PRE in der empirischen Bildungsforschung zur
- “Ökologische Validität” der simulierten Szenarien
- Scheint per Eye Test gegeben
- Wie wurden sie festgelegt?
- Wäre eine empirische Bestimmung
vorteilhaftdie Arbeit wert?
- Wie praktikabel sind »größere« \(N\)?
- »6 rules and one linear term generate the outcome variable«
- Was wäre bei umgekehrtem Szenario?
Forum
A Pilot Study on the Use of Transformer Models to Evaluate Open-Ended Response Formats in Educational Assessments
- Kontext zu den Texten
- Thema
- Textkomplexität
- Texthomogenität
- Spricht etwas gegen die Publikation der Texte?
- Lasso Regression
- Wie fiel die Entscheidung dafür?
- Würde Vergleich mit anderer Vorgehensweise (z.B. Distanzmaße) Sinn machen?
- Wie ähnlich sind die Ergebnisse zu verlgeichbaren Studien?
Literatur
